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摘 要 : 针对 现 有 多 光谱 图 像 匹配 算法 鲁 棒 性 不 强 的 问题 ， 提 出 一 种 新 的 基于 多 尺度 支撑 域 描述 子 的 多 光谱 图 像 匹配 
算法 。 该 算法 首先 提取 Harris 角 点 作为 特征 点 ; 然后 分 别 统计 特征 点 不 同 尺度 邻 域内 的 边缘 方向 直方 图 ， 组 合 构成 特 
征 描述 子 ; 以 欧 氏 距离 为 相似 度 准则 ， 使 用 比值 法 获得 初始 匹配 结果 ; 最 后 提出 了 一 种 基于 RANSAC 算法 的 外 点 去 
除 算法 。 实 验 结果 表明 ， 该 算法 可 有 效 匹配 多 光谱 图 像 ， 且 与 已 有 算法 相 比 鲁 棒 性 更 强 ， 获 取 的 正确 匹配 对 更 多 。 
关键 词 : 多 光谱 图 像 匹配 ; 特征 描述 子 ; 外 点 去 除 
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Abstract: To improve the robustness of the existing multi-spectral image registration algorithms, this paper proposed a new 
algorithm based on multi-scale support region descriptors. Firstly, the algorithm extracted the Harris corner points as feature 
points. Secondly, it constructed the descriptor by combining the edge direction histograms calculated respectively in the 
support regions of different sizes around a feature point. Then, the similarity criterion was the Euclidean distance, and it 


obtained the initial matches by the ratio method. Finally, this paper proposed an outlier removal algorithm based on RANSAC 


algorithm. The experimental results show that the proposed algorithm can match multi-spectral images effectively, be more 


9 robust than the existing algorithms, and obtain more matches that are correct. 
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间 的 非 线 性 关系 。 通 常 红外 传感器 工作 在 0.75 一 15 Am 的 光谱 

范围 ， 而 可 见 光 传感器 工作 在 大 约 0.4 一 0.7 Am 的 光谱 范围 。 

多 光谱 图 像 被 广泛 应 用 于 如 遥感 中、 视频 监控 外 和 军事 申 因此， 可见光 图 像 中 像素 强度 的 变化 与 物体 的 颜色 和 反射 的 光 

等 领域 。 相 对 于 单 光谱 图 像 ， 多 光谱 图 像 可 提供 多 样 、 可 靠 、 线 有 关 ， 而 红外 图 像 的 像素 强度 随 物体 温度 的 变化 而 变化 ， 使 

互补 的 信息 。 例 如 可 见 光 图 像 可 提供 丰富 的 细节 信息 ， 但 受 环 ”得 两 者 之 间 的 关系 是 非 线 性 的 。 这 种 非 线性 关系 使 得 适用 于 可 

境 条件 的 影响 较 大 ; 而 红外 传感器 可 全 天 候 工 作 ， 受 天 气 等 因 见 光 图 像 匹配 的 经 典 算 法 (如 SIFTI 与 SURFID 在 匹配 红外 图 
合 


素 的 影响 较 小 ， 但 图 像 的 分 辨 率 不 高 。 通 过 配 准 并 融合 两 种 图 。 像 与 可 见 光 图 像 时 ， 匹 配 效果 受到 很 大 限制 。 

像 ， 可 将 两 者 的 优势 综合 起 来 ， 得 到 更 加 丰富 、 人 全面、 包含 更 尽管 像素 强度 不 同 ， 不 同 材 质 之 间 边 界 的 边缘 趋 于 一 致 。 

多 细节 的 图 像 ， 相 对 于 单 光谱 图 像 更 有 助 于 实际 问题 的 解决 ， 这 是 因为 不 同 材质 的 物体 通常 具有 不 同 的 外 观 特性 (如 颜色 、 形 

如 电力 设备 温度 实时 监控 外 、 夜 间 行 驶 视野 受 限 的 问题 中。 状 等 )， 这 些 特性 决定 了 哪 部 分 光线 被 反射 及 如 何 反 射 ， 导 致 可 
为 了 获得 多 光谱 图 像 间 的 互补 信息 ， 需 要 将 图 像 配 准 ， 而 。 见 光 图 像 中 不 同 材质 处 像素 强度 不 同 。 不 同 的 材质 也 具有 不 同 


图 像 的 配 准 需 要 确定 多 光谱 图 像 间 特 征 的 对 应 关系 。 确 立 对 应 ”的 辐射 特性 ,而 辐射 特性 是 影响 红外 图 像 像素 强度 的 主要 因素 。 
关系 的 难点 在 于 如 何 克 服 可 见 光 图 像 与 红外 图 像 的 像素 强度 之 简 言 之 ， 不 同 的 材质 具有 不 同 的 反射 和 辐射 特性 ， 使 得 它们 在 
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可 见 光 图 像 和 红外 图 像 中 都 具有 不 同 的 像素 强度 。 因 此 ， 不 同 RANSAC 的 外 点 去 除 算 法 。 
材质 之 间 的 边界 将 存在 于 多 光谱 图 像 的 对 应 位 置 。 这 种 对 应 性 ee 
1 ”多 尺度 支撑 域 描述 子 


促使 人 们 充分 利用 多 光谱 图 像 的 边缘 信息 来 获得 有 效 的 配 准 方 
法 。 1.1 特征 点 选取 

文献 & 一 1 对 由 不 同类 型 的 传感器 采集 到 的 图 像 匹 配 问 题 如 前 所 述 ， 在 多 光谱 图 像 中 边缘 信息 比 灰 度 信息 更 相似 、 
进行 了 概述 。 现 有 的 红外 和 可 见 光 图 像 配 准 算 法 可 以 分 为 基于 致 性 更 高 ， 因 此 理论 上 利用 边缘 信息 提取 特征 点 的 算法 检测 


像素 强度 的 方法 和 基于 特征 的 方法 两 类 。 基 于 像素 强度 的 方法 。 到 的 特征 点 一 致 性 更 高 。 最 早 被 提出 的 特征 点 是 角 点 ， 其 利用 
首先 定义 一 种 相似 性 度量 ， 如 平方 差 的 总 和 、 互 相关 和 互信 息 。 邻 域 像素 点 的 强度 信息 区 分 角 点 和 无 关 像 素 点 ， 后 自 相关 甜 阵 
00， 测 量 两 个 图 像 块 间 的 距离 ， 后 将 配 准 问题 转换 为 两 个 图 像 ” 和 特征 值 准 则 被 用 于 计算 图 像 的 角 点 图 中 。 角 点 本 质 上 可 以 视 
块 距离 的 最 小 化 问题 。 这 类 方法 不 需要 对 图 像 进 行 分 割 或 特征 。 ”为 两 个 或 更 多 边缘 的 交点 。 之 后 ， 特 征 点 的 研究 转向 于 能 够 估 
提取 等 预 处 理 ， 便 于 直接 应 用 ; 但 计算 复杂 度 高 ， 且 当 图 像 对  ” 计 特 征 点 尺度 特性 的 算法 ， 以 适应 有 尺度 变换 的 匹配 场景 。 被 
分 辩 率 不 同 或 重 受 率 较 低 时 , 统计 稳定 性 的 假设 难以 得 到 保证 ， ”广泛 应 用 的 SIFT 算法 是 一 个 典型 代表 ， 该 算法 利用 尺度 空间 
使 得 配 准 效果 下 降 甚至 误 匹 配 。 基 于 特征 的 方法 首先 提取 特征 蛙 论 提取 特征 点 并 估计 其 尺度 特征 ， 提 取 到 的 特征 点 也 被 称 做 
点 和 边缘 等 特征 ， 然 后 应 用 匹配 度量 查找 两 个 图 像 的 相对 应 的 “斑点 ”因为 它们 体现 的 是 特征 点 邻 域 像素 灰 度 分 布 与 高 斯 函 
特征 ， 最 后 根据 对 应 关系 计算 几何 映射 关系 。 这 种 方法 可 以 有 数 的 相似 程度 。 后 来 ， 为 了 提高 计算 效率 以 满足 实时 应 用 的 需 
效 匹配 低 重 二 的 图 像 对 ， 并 能 适应 较 大 的 几何 形变 。 要 ，FAST 特征 点 29 及 其 改进 版 本 被 提出 ， 然 而 该 算法 需要 机 
考虑 到 适用 性 和 计算 效率 , 本 文 着 重 研究 基于 特征 的 方法 。 ”器 学 习 改 善 检测 到 的 特征 点 的 质量 。 因 此 ， 以 角 点 作为 多 光谱 
Coiras 等 人 [9 首先 提取 边缘 片段 ,然后 将 它们 分 组 构成 三 角形 ， 图 像 匹 配 的 特征 点 是 一 个 较 合理 的 选择 。 
通过 匹配 三 角形 计算 变换 矩阵 。 基 于 直线 特征 的 方法 03.44 利 用 为 了 证 明 角 点 更 适合 于 多 光谱 图 像 ， 本 文 设 计 了 一 个 对 比 
了 图 像 中 的 强 边缘 和 梯度 信息 ， 在 匹配 人 造 场景 图 像 时 效果 较 ”SIFT 算法 和 具有 代表 性 的 角 点 提取 算法 一 一 Harris 算法 提取 特 
好 ,但 匹配 自然 图 像 时 效果 不 佳 ， 因 为 自然 图 像 中 的 直线 特征 。” 征 点 性 能 的 实验 。 评 估 标 准 是 重复 度 ， 即 在 位 置 上 对 应 的 特征 
较 少 。SIFT 的 一 种 改进 版 本 对 称 -SIFT(symmetric-SIFT) 算 法 053 点 的 数量 与 所 有 特征 点 的 数量 之 比 。 与 同一 算法 在 红外 与 可 见 
利用 SIFT 算法 的 思想 提取 特征 点 ， 后 利用 了 多 光谱 图 像 中常 。 光 图 像 中 设置 相同 的 参数 的 实验 不 同 ， 此 处 提取 相同 数量 的 特 
见 的 梯度 反 转 现象 对 特征 点 描述 。 构 建 描述 子 时 ， 将 处 于 在 。” 征 点 。 这 种 方法 的 好 处 是 不 需要 根据 多 光谱 图 像 的 差异 调整 算 
180" 一 360" 范围 内 的 梯度 方向 转换 到 其 相反 的 方向 ， 后 参照 。 法 的 每 个 参数 ， 同 时 对 两 种 方法 都 是 公平 的 ， 此 处 提取 最 佳 的 
SIFT 算法 构建 初始 描述 子 ， 后 与 其 180” 反 转 的 结果 结合 构成 1 000 个 特征 点 。 由 于 图 像 采 和 集 自 不 同 的 传感器 ， 人 允许 对 应 特 
最 终 的 描述 子 。 这 两 个 过 程 使 算法 能 够 解决 部 分 多 光谱 图 像 配 。 征 点 在 位 置 上 有 4 个 像素 距离 的 容 差 ， 该 容 差 应 用 于 本 文 提 到 
准 的 任务 。 利 用 边缘 信息 的 方法 还 包括 HOG (histogram of ”的 所 有 实验 。 实 验 采 用 可 见 光 一 长 波 红外 图 像 数 据 集 P11 作为 实 
oriented gradients)19、 形 状 上 下 文 00、 豪 斯 多 夫 距 离 和 边缘 方 验 对 象 。 实 验 结果 如 图 1 所 示 。 可 见 在 大 多 数 情况 下 ，Harris 
向 直方 图 (edge orientation histogram ,EOH)D03。 形 状 上 下 文 和 豪 ”” 角 点 的 重复 度 更 高 ,因此 选 定 Harris 角 点 作为 要 提取 的 特征 点 。 
斯 多 夫 距 离 较 适用 于 边缘 像素 集 可 以 完整 描述 对 象 轮廓 的 情 
况 , 然而 很 多 应 用 中 提取 到 的 对 象 轮廓 不 完整 。HOG 算法 统计 
特征 点 邻 域内 每 个 像素 的 梯度 大 小 和 方向 ， 而 红外 图 像 的 纹理 
言 息 明 显 减 少 ， 因 此 无 须 统 计 每 个 像素 点 的 梯度 信息 。EOH 算 
法 是 SIFT 算法 的 另 一 种 改进 版 本 ， 描 述 了 特征 点 邻 域 内 的 边 
缘分 布 而 不 是 梯度 分 布 。 相 较 于 其 他 方法 ， 该 方法 没有 明显 的 
应 用 局 限 ， 既 能 够 匹配 人 造 场景 图 像 ， 也 能 够 匹配 自然 场景 图 
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像 ， 但 存在 正确 匹配 对 数量 少 的 问题 。 针 对 这 一 问题 ， 本 文 提 图 像 索引 
出 了 基于 多 尺度 支撑 域 描述 子 的 多 光谱 图 像 匹 配 算法 。 1 每 对 图 像 中 特征 点 的 重复 度 
与 现 有 的 大 多 数 基于 特征 的 图 像 匹 配方 法 类 似 ， 所 提 方 法 。 “1.2 边缘 像素 梯度 方向 的 计算 
可 分 为 特征 提取 ， 特 征 描述 和 特征 匹配 三 个 部 分 。 在 特征 点 提 在 计算 边缘 像素 点 的 梯度 方向 时 ，EOH 算法 使 用 5 方向 
取 部 分 ， 通 过 对 几 种 典型 特征 点 的 分 析 ， 发 现 角 点 更 适用 于 多 Sobel 算 子 ， 获 取 的 方向 较 粗糙 。 为 了 增强 描述 子 的 代表 性 ， 


光谱 图 像 匹 配 ， 在 特征 描述 部 分 ， 在 BOH 的 基础 上 提出 了 一 ”使 用 8 方向 Sobel 算 子 9 计 算 边 缘 像 素 点 的 方向 。 边 缘 方 向 的 
种 构建 描述 子 的 新 方法 ， 匹 配 描述 子 时 ， 使 用 欧 氏 距离 作为 距 “增加 可 以 增加 描述 子 的 维度 ， 增 强 描述 子 间 的 差异 性 。8 方向 
离 准则 ， 使 用 SIFT 算法 中 的 比值 策略 得 到 初始 的 匹配 结果 ， Sobel 滤波 模板 如 图 2 所 示 。 

针对 初始 匹配 结果 中 低 内 点 率 的 问题 ， 提 出 了 一 种 基于 
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(e) DD (g) 
图 2 8 方向 Sobel 算 子 
注 : 滤波 模板 〈a) 一 〈h) 分 别 计算 0”、22.5”、45”、67 
112.5”、135” 和 157.5” 方向 的 导数 
边缘 像素 点 的 方向 由 式 (1) 计算 。 


Ori(x,y)= argmax|F, ® Patch (x y)|i =1,2,3,.0;8 ( 


其 中 : (%y) 表 示 当 前 边缘 像素 点 的 4 


素 点 在 原始 


.3”、90” 、 


1) 


EE 标 ; Patch(x,y) 表 示 边 缘 像 
图 像 的 灰 度 图 中 的 邻 域 像素 块 ， 且 与 卷 积 模板 的 尺 


寸 相同 ; Fi 表示 Sobel 算 子 ;。 表示 卷 积 运算 ; Ori(%,y) 对 应 于 8 


个 Sobel 算 子 所 得 到 的 卷 积 结果 


1.3 ”描述 子 的 构建 


多 尺度 邻 


这 
Ey 区 
XE 
mk 


矩形 框 
现 这 些 窗户 


FPF 最 大 值 代表 的 方向 。 


中 窗户 的 形状 与 大 小 非常 


目 似 ， 且 从 图 


。 当 邻 域 较 小 时 ,描述 子 只 包含 特征 


点 的 


地 征 点 邻 域内 的 边缘 较 相 
使 匹配 效果 下 降 。 此 时 ， 需 要 扩大 邻 域 以 添加 不 同 的 边缘 ， 


-本 


进而 提高 控 
点 彼此 靠近 


述 


以 ， 则 描述 子 的 相 


子 的 差异 性 。 然 而 当 邻 域 较 大 时 ， 如 果 两 个 特 
， 则 两 者 的 支撑 区 域 的 重 爱 率 增 大 ， 构 建 的 


或 计算 得 到 的 描述 子 可 充分 利用 多 光谱 图 像 中 
息 。 人 造 环境 中 常 存在 多 个 外 形 相似 的 物体 , 如 图 
3(b) 中 可 发 
的 边缘 基本 相同 ， 此 时 由 单 邻 域 构建 的 描述 子 会 
局 部 信息 ， 
似 性 会 


3(a) 


党 


很 


征 


赴 述 子 


的 相似 度 较 高 ， 导 致 误 匹 配 。 在 这 种 情况 下 ， 可 以 通过 包含 局 


部 信 


息 的 小 尺度 支持 区 域 来 增加 差异 。 因 此 ， 本 文 提出 使 ) 


个 不 同 尺度 
述 子 组 成 
算得 到 ， 


(EOHMSR)。 


像 的 鲁 棒 性 


的 支持 区 域 计算 


描述 子 ， 这 意味 着 描述 子 


， 这 些 子 描述 子 是 从 特征 点 多 个 不 同 


本 文 的 


换 等 。 


算法 从 原始 


模 值 自动 设 定 ， 参 数 c=vV2 。Edge(x,y 川 
1.2 节 所 示 的 方法 计算 ， 得 到 边缘 像素 方向 图 
EdgeOrilwy) 得 到 特征 点 不 同 
SR=[SR1,SR2,…,SRwJ， 将 每 个 支撑 


统计 每 个 子 


图 像 I(x,y) 中 获得 ，Canny 算法 的 阔 值 根 和 


多 
jl 
R 度 的 邻 域 计 
称 这 种 方法 为 多 尺度 支撑 域 边缘 方向 直 广 


区 


的 是 提高 描述 子 对 不 同 场景 的 多 光谱 图 
， 因 此 不 考虑 图 像 间 的 几何 变化 关系 ， 如 旋转 、 缩 
放 和 仿 射 变 ] 
描述 子 的 计算 过 程 如 图 4 所 示 。 边 缘 图 像 Edge(x, 


») 
居 最 大 梯 


Canny 


) 直 


站 每 个 边缘 像素 的 方向 
EdgeOri(x,y)。 从 
尺度 的 支撑 区 域 
区 域 分 成 4X4 = 16 个 子 区 域 ， 


区 域 的 边缘 方 


Hi, 进而 得 到 


向 直方 图 


X8 = 128) 维 


的 子 


有 128(4X4 
雪 述 子 ， 最 后 组 合 Hi 得 到 最 终 的 描述 子 。 


hinaXiv 合 作 其 
录用 入 wa ii 合作 朋 天 。 


图 3 a) 红 外 图 像 (上 );(b) 图 (a) 的 边缘 图 像 (下 ) 


ly) 
Canny 
Edge(x%,y) 
Sobel Operators 
] EdgeOri(x,y) ] 
SR1 SRi SRn 
J J J 

H1 Hi Hn 


Des={H1,H2, *…, Hn} 


全 4 ”所 提 描 述 子 的 计算 流程 


2 ”特征 点 的 匹配 


特征 点 匹配 是 通过 比较 特征 点 的 描述 子 ， 找 到 相对 应 的 特 
征 点 对 。 在 计算 描述 子 时 ， 删 除 邻 域 边缘 信息 太 少 的 特征 点 ， 
因为 根据 较 少 边缘 信息 计算 出 的 描述 子 的 代表 性 较 弱 。 使 用 欧 
氏 距 离 作 为 相似 性 度量 准则 。 使 用 比值 准则 外 判 定 是 否 为 对 
点 ， 即 当 最 短 距离 和 次 短 距 离 的 比率 小 于 给 定 闵 值 时 ， 才 将 两 
个 特征 点 认定 为 匹配 的 。 


从 
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TT 


本] 


初始 匹配 结果 如 图 


图 5 初始 匹配 结果 (上 ) 和 直接 使 


RANSAC 的 结果 (下 ) 


5(a) 所 示 。 通 过 观察 可 发 现 误 匹 配点 对 


可 分 为 两 种 类 型 : 单 点 对 应 的 类 型 与 一 个 点 匹配 多 个 点 的 类 型 。 


出 现 第 二 种 错误 类 型 的 主要 原 


寻 包 括 图 像 中 有 较 多 相似 的 区 域 


及 部 分 特征 点 的 位 置 相 对 较 近 。 
RANSAC 算法 [9 得 到 的 结 


使 用 


由 于 内 点 率 较 低 (26/208)， 直接 
果 ( 图 5(b)) 较 差 , 计算 出 的 变换 


模型 仅 反映 了 第 二 种 外 点 的 变换 关系 ， 这 也 表明 第 二 种 误 匹 配 


类 型 比例 较 高 。 受 此 启发 ， 本 文 提出 了 一 种 实用 的 外 点 去 除 算 


法 。 


该 算法 的 关键 是 根据 与 同 


如 图 6 所 示 。 如 果 数 


日 混 
个 


获得 粗糙 但 基本 正确 的 模型 


1 nLsingle o 


配 结果 分 成 两 部 分 ， 然 后 对 两 部 分 分 别处 理 。 
目 为 2， 则 表示 一 个 点 与 一 个 点 匹配 ， 如 
目 大 于 2， 则 表示 一 个 点 与 多 个 点 匹配 ， 相 应 地 将 初始 的 
匹配 结果 Doriginal 分 为 Dsingie 和 Dnanpe 两 部 分 。 由 于 第 二 种 误 匹 
配 比例 较 高 ， 所 以 先 使 用 RANSAC 算法 从 单 点 匹配 部 分 Dyingie 


个 点 匹配 的 点 的 数目 将 初始 匹 
该 算法 的 流程 图 


Msingle ? 同 时 获得 大 多 数 内 点 


但 是 在 某 些 情况 下 ， Drmultiple 仍然 有 正确 的 匹配 对 。 为 了 使 


得 到 的 变换 模型 适合 所 有 正确 的 


元 配 结果 ， 将 M single 应 用 于 


1 


0.9 


0.8 


0.7 


Drmultiple 以 提取 可 能 正 确 的 兄 配 对 Deandidate o 首 先 将 属 于 Drmultiple 


点 


人 


的 红外 图 像 中 的 特征 
:Es 变换 结果 记 为 PIrT muttiple 。 


PIrT ,mutiple = Msingle X PlIrmutiple 


PlIrmuliple 通过 式 (2) 变 换 到 可 见 光 医 像 


(2) 


后 根据 式 (3) 计 算 PlIrTmutiple 中 的 每 个 点 与 PVsmutiple 中 每 个 点 的 


欧 氏 距离 
d= |PlrTmuaipte - PVsmuipe | (G3) 
其 中 a PVsmultiple 为 属于 Dnultiple 的 可 见 光 图 像 中 的 特征 点 o 如 果 


d<4， 将 这 两 个 点 视 为 正确 匹配 的 候选 。 
最 后 ， 将 InLsingle 和 Deandidate 组 合 构 成 Dnew, 并 在 


其 上 使 用 


RANSAC 算法 ,获得 最 终 的 变换 模型 Mjinar 和 所 有 内 点 InLpnat。 


如 图 7 所 示 ， 


服 低 内 点 率 的 问题 ， 得 到 正确 的 


Original matches 


与 直接 使 用 RANSAC 算法 相 比 ， 所 提 方 法 能 


匹配 模型 。 


Dorigina! 
Matches one with one | Matches one with many 
| 
Dsmgie | Drmuiripie 
RANSAC| 
| The rough model 
Msingie 
+ + 
Inliers | Candidate matches 
LInlsngle Deandidare 
The new matches 
Drew 
RANSAC 
Final model and inliers 
六 3 得 
图 6 提出 的 外 点 去 除 算法 的 流程 


| 


J 


25 


于 像 索引 


F 点 数 


间 的 变化 关系 


45 
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3 


3.1 


的 特 重 
DXD。 


实验 结果 与 分 析 


参数 选择 


可 见 


光 
四 


图 像 和 一 个 红 


所 提 算 法 有 几 个 参数 需 
E 点 数目 K、 支 撑 
为 了 确定 这 些 参 数 ， 在 一 个 可 
上 进行 了 实验 , 该 数据 集 包 含 44 个 图 
图 


外 


的 视角 与 分 辨 率 都 相同 。 


最 小 尺寸 DXD 记 


其 中 : #correct matches 是 通过 第 2 章 介 绍 的 方法 去 除外 点 后 匹 
目 ，#matches 是 包含 内 点 和 外 点 初始 匹配 对 
#correspondences 是 应 当 正 确 匹 配 的 特征 点 的 数目 。 当 正确 匹配 
得 变换 模型 或 得 到 的 变换 模型 错误 时 ， 将 


配对 的 数 


的 数量 太 少 而 无 法 


如 


整个 数据 集 上 


本 


实验 决定 ， 这 些 参数 包括 所 提取 


平均 每 对 图 像 的 结果 如 表 1 所 示 。 在 平均 召 


及 平均 正确 匹配 数目 
匹配 | 


区 域 数 量 N 和 支撑 


得 ， 旧 


复 度 随 特征 点 数目 K 的 变化 如 民 
训 的 特征 点 数目 与 所 有 特征 点 数目 


随 着 KK 
点 重复 的 可 能 怕 


Precision = 


Recall = 


#corrrect matches 


#matches 


#corrrect matches 


#correspondence 


精确 度 和 召 匠 
平均 精确 度 和 平均 召 世 


的 值 是 多 少 ， 


平均 召回 率 具 有 相同 


15% 


)。 


于 N 每 增 力 


子 的 
3.2 


0。 


维度 ， 最 终 设 定 N=5，D =30。 
性 能 对 比 
本 文 实验 环境 为 Windows64 位 系统 ,运行 配置 为 Intel Core 


回 率 和 精确 度 被 用 做 选择 支撑 区 域 的 数量 N 和 支撑 区 


估 标 准 ， 分 别 | 


率 随 着 N 和 DXD 的 变化 如 
示 。D 随 着 N 的 增加 而 增加 相同 的 间隔 20。 当 N 增加 时 
管 DXD 


区 域 的 最 小 尺寸 
见 光 - 长 波 红外 数据 集 忆 1 
像 对 , 每 对 图 像 包含 一 个 
每 对 图 像 都 被 校正 ， 使 得 图 像 


区 


8 所 


的 增加 而 增加 ， 这 是 因为 特征 点 
三 E 增 加 。 考 虑 到 计算 效率 ， 
为 当 数 量 大 于 1 000 时 ， 重 复 度 的 提高 不 显 


式 (4) (5) 计算 得 出 。 


(5) 


的 数 


图 9 所 
» 不 


N 为 5 时 达到 最 大 值 ( 约 


平均 精度 都 会 增加 ， 但 是 不 大 于 35%。 
的 趋势 ， 并 且 在 
上 1， 描述 子 的 维度 增加 128， 考 虑 到 描述 


这 ，3.4 GHz CPU， 内 存 为 4 GB， 算 法 采用 MATLAB R2014b 


实现 


红外 


o 


将 所 提 方 法 与 其 他 三 种 经 典 
数据 集 20 上 进行 评 
数据 集 包 含 44 个 图 


古 ， 使 用 精确 度 和 召 


算法 在 可 见 光一 长 波 红外 图 像 
率 作为 评判 ; 


佳 则 。 该 


区 


像 ， 


目 每 对 图 像 者 


了 经 过 


都 相 


ul 


图 像 对 都 经 过 矫正 


， 分 辨 率 都 为 


639 


J 


E 确 


X43。 图 


像 对 ,每 对 图 像 包含 一 个 可 见 光 图 像 和 一 个 
校正 ， 使 得 图 像 的 视角 与 分 辩 率 
10 显示 了 几 个 图 像 对 。 由 于 
匹配 点 对 的 连 线 应 当 是 水 平 的 ， 如 图 


11 所 示 ， 所 提 算 六 


比 其 人 


多 


线 


区 


的 正确 匹配 
率 和 精确 


岂 三 种 算法 得 到 


结果 更 多 。 
.在 召回 率 


-个 


妈 12 显示 了 该 数据 集中 每 对 图 像 的 召 世 
中 所 提 方 法 明显 优 于 其 
所 提 方 法 在 大 部 分 图 像 对 中 人 


EE 


也 三 种 方法 ， 在 精确 度 


线 图 中 


包 于 其 他 三 种 方法 。 整 个 数据 集 上 


上 ， 所 提 算 法 
时 上 ， 所 提 算 法 稍 优 于 Sym-SIFT 算法 ， 但 大 约 是 EOH 
算法 的 1.5 倍 , 不 过 要 获得 与 EOH 算法 相同 的 平均 正确 
18， 所 提 算 法 只 需要 5.52 s, 约 为 EOH 算法 的 三 分 之 一 ， 从 


率 、 平 均 精确 度 
明显 优 于 其 他 三 种 方法 ; 在 


匹配 数 


此 角度 看 ， 所 提 算 法 在 匹配 时 间 上 仍 优 于 EOH 算法 。 本 文 着 
重 对 算法 的 有 效 性 进行 研究 ， 提 高 算法 对 不 同 场景 的 适用 性 。 
在 下 一 步 的 工作 中 ， 将 从 软件 和 硬件 上 对 算法 进行 改进 ， 提 高 
算法 的 实时 性 。 
0.4[ 
0.35 上 
03 上 
0.25 
A& oz 
I Tr|]|] 
0.1 
一 一平 均 召回 来 
0.05 一 人 一 平均 精确 度 
0 ， | | | | | | | | 
1 2 3 5 6 7 8 9 10 1 
支撑 域 数 
(9) 最 小 尺寸 为 20X20 
0.4[ 
0.35 
0.3 
0.25 上 
太 oz 上 
| = | 
0.1 sk 
0.05 平 
0 
1 2 3 5 6 7 8 9 10 11 
支撑 域 数 
(b) 最 小 尺寸 为 30X30 
0.4[ 
0.35 上 
0.3 上 
0.25 上 
太 o2| 
可 
| EE = 
0.1 上 i 
0.05 上 F 均 精确 度 
2 9 10 11 
文 撑 域 数目 
(oc) 最 小 尺寸 为 40X40 
图 9 设置 不 同 的 最 小 尺度 支持 区 域 、 平 均 精度 和 平均 召回 率 随 支 持 区 
域 数量 的 变化 曲线 
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图 10 ”数据 集中 的 三 对 可 见 光 一 长 波 红外 图 像 


图 11 四 种 算法 的 结果 对 比 :SIFT( 左 上 );Sym-SIFT( 右 上 ):EOH( 左 下 ); 所 提 算 法 ( 右 下 ) 
表 1 整个 数据 集 上 平均 每 对 图 像 的 结果 对 比 


匹配 方法 SIFT Sym-SIFT 器 EOH WI EOHMSR (ours) 
平均 召回 率 0.49% 1.02% 2.78% 14.07% 
平均 精确 度 4.31% 12.89% 12.68% 32.06% 
平均 正确 匹配 数 3 9 18 84 
平均 匹配 时 间 /s 10.12 26.88 16.81 25.77 
07c 
-一 一 SIFT 
一 水 一 Sym-SIFT 
一 人 一 EOH 
0.6 上 —8— OURS 
D5 


度 


平均 精 有 
T 


0.4 上 上 


45 


0 Pk 
图 像 索引 
图 12 在 数据 集 上 每 对 图 像 的 召 


I 


率 ( 上 ) 和 精确 度 ( 下 ) 
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4 ”结束 语 


本 文 提出 了 一 种 有 效 的 多 光谱 图 像 匹 配 算法 ， 
Harris 角 点 作为 特征 点 ， 确 保 了 所 提取 特征 点 的 高 重复 性 ， 然 
后 ， 利 用 不 同 尺度 的 支撑 域 中 的 边缘 信息 计算 描述 子 ， 增 强 了 
和 述 子 间 的 差异 性 ， 最后， 针对 初始 匹配 结果 中 低 内 点 率 的 问 


题 ， 在 RANSAC 算法 的 基础 上 ， 提 取 了 一 种 新 的 外 点 去 除 算 
法 。 实 验 结果 表明 ， 所 提出 的 算法 比 传统 多 光谱 图 像 算法 的 鲁 


棒 性 更 强 ， 且 获得 的 正确 匹配 点 对 更 多 。 在 下 一 步 的 工作 中 ， 
将 增强 所 提 方 法 对 旋转 、 尺 度 和 仿 射 变换 的 鲁 棒 性 ， 提 高 算法 
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